Versión PDF: Github

Más sobre ciencia de datos: cienciadedatos.net o joaquinamatrodrigo.github.io

Introducción


En este documento se presenta un ejemplo práctico de cómo entrenar modelos de machine learning con la librería H2O y de cómo compararlos e interpretarlos con Dalex e IML.

H2O


H2O es un producto creado por la compañía H2O.ai con el objetivo de combinar los principales algoritmos de machine learning con Big Data. Gracias a su forma de comprimir y almacenar los datos, H2O es capaz de trabajar con grandes volúmenes de registros en un único ordenador (emplea todos sus cores) o en un cluster de muchos ordenadores. Internamente, H2O está escrito en Java y sigue el paradigma Key/Value para almacenar los datos y Map/Reduce para sus algoritmos. Gracias a sus API, es posible acceder a todas sus funciones desde R, Python o Scala, así como por una interfaz web llamada Flow.

Las características que más destacan de esta librería son:

  • Incorpora los principales algoritmos de machine learning:

    • Cox Proportional Hazards (CoxPH)
    • Deep Learning (Neural Networks)
    • Distributed Random Forest (DRF)
    • Generalized Linear Model (GLM)
    • Gradient Boosting Machine (GBM)
    • Naïve Bayes Classifier
    • Stacked Ensembles
    • XGBoost
    • Aggregator
    • Generalized Low Rank Models (GLRM)
    • K-Means Clustering
    • Isolation Forest
    • Principal Component Analysis (PCA)
    • Word2vec
  • Sus algoritmos permites paralelización para hacer uso de todos los cores del ordenador o incluso de un cluster.

  • Incorpora en los propios modelos las principales trasformaciones de preprocesado (escalado, encoding de variables cualitativas, eliminación de predictores con varianza constante e imputación de valores ausentes). De esta forma, todas las transformaciones se aprenden durante el entrenamiento y se aplican automáticamente a las nuevas predicciones.

  • Permite la búsqueda de hiperparámetros por grid search y random search.

  • Todos los algoritmos incluyen criterios de parada temprana para agilizar el entrenamiento.

Todas estas características hacen de H2O una herramientas excelente aun cuando el volumen de datos es limitado. Para conocer más detalles sobre esta librería y sus modelos consultar Machine Learning con H2O y R.

Dalex y IML


En términos generales, los modelos de machine learning que consiguen mejores resultados en las predicciones, lo hacen gracias a su capacidad para encontrar relaciones complejas en los datos (interacciones entre predictores, relaciones no lineales…). Sin embargo, una de las desventajas asociadas es que su interpretabilidad suele ser baja. No es fácil comprender cómo está participando cada predictor en el modelo y en sus predicciones.

A medida que ha avanzado el desarrollo de modelos predictivos, se han ido mejorando las estrategias para entender su comportamiento. Algunas de ellas son intrínsecas al algoritmo (los coeficientes de regresión de un modelo lineal, la importancia de los predictores en un random forest…) y otras son agnósticas al tipo de modelo. Los paquetes Dalex e IML tienen implementados la mayoría de estos métodos y son compatibles con modelos de H2O.

Datos


El set de datos rent, disponible en el paquete gamlss.data, contiene información sobre el precio del alquiler de 1969 viviendas situadas en Munich en el año 1993. Además del precio, incluye 9 variables adicionales:

  • R: precio del alquiler.

  • Fl: metros cuadrados de la vivienda.

  • A: año de construcción.

  • B: si tiene cuarto de baño (1) o no (0).

  • H: si tiene calefacción central (1) o no (0).

  • L: si la cocina está equipada (1) o no (0).

  • Sp: si la calidad del barrio donde está situada la vivienda es superior la media (1) o no (0).

  • Sm: si la calidad del barrio donde está situada la vivienda es inferior la media (1) o no (0).

  • loc: combinación de Sp y Sm indicando si la calidad del barrio donde está situada la vivienda es inferior (1), igual (2) o superior (3) a la media.



Análisis exploratorio


Antes de entrenar un modelo predictivo, o incluso antes de realizar cualquier cálculo con un nuevo conjunto de datos, es muy importante realizar una exploración descriptiva de los mismos. Este proceso permite entender mejor qué información contiene cada variable, así como detectar posibles errores.

Los paquetes skimr, DataExplorer y GGally facilitan mucho esta tarea gracias a sus funciones preconfiguradas.

Tabla resumen

Data summary
Name datos
Number of rows 1969
Number of columns 7
_______________________
Column type frequency:
factor 4
numeric 3
________________________
Group variables None

Variable type: factor

skim_variable n_missing complete_rate ordered n_unique top_counts
banyo 0 1 FALSE 2 0: 1925, 1: 44
calefaccion 0 1 FALSE 2 0: 1580, 1: 389
cocina 0 1 FALSE 2 0: 1808, 1: 161
situacion 0 1 FALSE 3 2: 1247, 3: 550, 1: 172

Variable type: numeric

skim_variable n_missing complete_rate mean sd p0 p25 p50 p75 p100 hist
precio 0 1 811.88 379.00 101.7 544.2 737.8 1022 3000 ▇▇▂▁▁
metros 0 1 67.73 20.86 30.0 52.0 67.0 82 120 ▆▇▇▅▂
anyo 0 1 1948.48 29.02 1890.0 1934.0 1957.0 1972 1988 ▃▁▃▇▇

Todas las columnas tienen el tipo adecuado.

Valores ausentes


Junto con el estudio del tipo de variables, es básico conocer el número de observaciones disponibles y si todas ellas están completas. Los valores ausentes son importantes a la hora de crear modelos, algunos algoritmos no aceptan observaciones incompletas o bien se ven muy influenciados por ellas.

##      precio      metros        anyo       banyo calefaccion      cocina 
##           0           0           0           0           0           0 
##   situacion 
##           0



Variables respuesta


Cuando se crea un modelo, conviene estudiar la distribución de la variable respuesta, ya que, a fin de cuentas, es lo que interesa predecir. La variable precio tiene una distribución asimétrica con una cola positiva debido a que unas pocas viviendas tienen un precio de alquiler muy superior a la media. Este tipo de distribución suele visualizarse mejor tras aplicar el logarítmica o la raíz cuadrada.

##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   101.7   544.2   737.8   811.9  1022.0  3000.0



Algunos modelos de machine learning y aprendizaje estadístico requieren que la variable respuesta se distribuya de una forma determinada. Por ejemplo, para los modelos de regresión lineal (LM), la distribución tiene que ser de tipo normal. Para los modelos lineales generalizados (GLM), la distribución tiene que ser de la familia exponencial. Existen varios paquetes en R que permiten identificar a qué distribución se ajustan mejor los datos, uno de ellos es univariateML. Para conocer más sobre cómo identificar distribuciones consultar Ajuste de distribuciones con R.

La distribución con mejor ajuste acorde al valor AIC es la gamma.

Variables continuas




Como el objetivo del estudio es predecir el precio de alquiler de las viviendas, el análisis de cada variable se hace también en relación a la variable respuesta precio. Analizando los datos de esta forma, se pueden extraer ideas sobre qué variables están más relacionadas con el precio y de qué forma.



Variables cualitativas


Si alguno de los niveles de una variable cualitativa tiene muy pocas observaciones en comparación a los otros niveles, puede ocurrir que, durante la validación cruzada o bootstrapping, algunas particiones no contengan ninguna observación de dicha clase (varianza cero), lo que puede dar lugar a errores. En este caso hay que tener precaución con la variable banyo.

## 
##    0    1 
## 1925   44



Modelos


El objetivo es crear un modelo capaz de predecir el precio del alquiler. En los siguientes apartados se emplean los principales algoritmos disponibles en H2O y se comparan para identificar el que mejor resultados consigue.

Train-Test


Se almacenan en formato data.frame para las funciones de diagnóstico de dalexy iml.

Se comprueba que la variable respuesta en similar en los dos conjuntos y que también la variable banyos.

##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   101.7   544.7   741.6   813.9  1026.5  3000.0
##    Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
##   127.1   537.8   718.6   804.0  1000.0  2764.5
##          0          1 
## 0.97963081 0.02036919
##          0          1 
## 0.96984925 0.03015075



GLM


Entrenamiento




Optimización de hiperparámetros



Mejor modelo



Influencia predictores


Importancia predictores



GBM


Entrenamiento


Optimización de hiperparámetros



Mejor modelo



Influencia predictores


Importancia predictores



Gráficos PDP



Curvas ICE



Diagnóstico de los residuos


## Preparation of a new explainer is initiated
##   -> model label       :  modelo_gbm 
##   -> data              :  1571  rows  6  cols 
##   -> target variable   :  1571  values 
##   -> model_info        :  package h2o , ver. 3.30.0.1 , task regression (  default  ) 
##   -> predict function  :  yhat.H2ORegressionModel  will be used (  default  )
##   -> predicted values  :  numerical, min =  261.1752 , mean =  814.0984 , max =  1798.123  
##   -> residual function :  difference between y and yhat (  default  )
##   -> residuals         :  numerical, min =  -789.5428 , mean =  -0.2181171 , max =  1629.115  
##   A new explainer has been created! 



RF


Entrenamiento


Optimización de hiperparámetros



Mejor modelo



Influencia predictores


Importancia predictores



Gráficos PDP



Curvas ICE



Diagnóstico de los residuos


## Preparation of a new explainer is initiated
##   -> model label       :  modelo_rf 
##   -> data              :  1571  rows  6  cols 
##   -> target variable   :  1571  values 
##   -> model_info        :  package h2o , ver. 3.30.0.1 , task regression (  default  ) 
##   -> predict function  :  yhat.H2ORegressionModel  will be used (  default  )
##   -> predicted values  :  numerical, min =  304.4805 , mean =  813.403 , max =  1722.642  
##   -> residual function :  difference between y and yhat (  default  )
##   -> residuals         :  numerical, min =  -797.0642 , mean =  0.477308 , max =  1331.144  
##   A new explainer has been created! 



XGBOOST


Entrenamiento


Optimización de hiperparámetros



Mejor modelo



Diagnóstico de los residuos



## Preparation of a new explainer is initiated
##   -> model label       :  modelo_xgboost 
##   -> data              :  1571  rows  6  cols 
##   -> target variable   :  1571  values 
##   -> model_info        :  package h2o , ver. 3.30.0.1 , task regression (  default  ) 
##   -> predict function  :  yhat.H2ORegressionModel  will be used (  default  )
##   -> predicted values  :  numerical, min =  196.1371 , mean =  813.9111 , max =  1484.282  
##   -> residual function :  difference between y and yhat (  default  )
##   -> residuals         :  numerical, min =  -934.4101 , mean =  -0.03079092 , max =  1784.308  
##   A new explainer has been created! 



ENSEMBLE


Entrenamiento


Para poder entrenar el ensemble, los modelos tienen que ser entrenados en la misma sesión de H2O, no pueden estar cargados de disco.

  • Todos los modelos deben de emplear el mismo número de particiones en la validación cruzada (mismo valor en el argumento nfolds).

  • Deben de almacenarse las predicciones hechas durante la validación cruzada (keep_cross_validation_predictions = True).

  • Todos los modelos deben ser entrenados sobre el mismo conjunto de entrenamiento. Las filas deben de ser las mismas aunque cada modelo puede utilizar distintos predictores (columnas).

## Model Details:
## ==============
## 
## H2ORegressionModel: stackedensemble
## Model ID:  modelo_ensemble 
## Number of Base Models: 4
## 
## Base Models (count by algorithm type):
## 
##     drf     gbm     glm xgboost 
##       1       1       1       1 
## 
## Metalearner:
## 
## Metalearner algorithm: glm
## 
## 
## H2ORegressionMetrics: stackedensemble
## ** Reported on training data. **
## 
## MSE:  74942.17
## RMSE:  273.7557
## MAE:  210.8262
## RMSLE:  0.3612048
## Mean Residual Deviance :  74942.17



Comparación de modelos


Error test




Creative Commons License
This work by Joaquín Amat Rodrigo is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.